암호화 라운드

암호화 라운드는 대칭키 암호 알고리즘, 특히 블록 암호에서 암호화 과정을 구성하는 기본 단위이다. 이는 하나의 평문 블록을 암호문 블록으로 변환하기 위해 반복적으로 수행되는 일련의 변환 작업을 의미한다. 각 라운드는 특정한 암호학적 함수(라운드 함수)를 적용하여 데이터를 뒤섞고, 여러 라운드를 거치면서 평문과 암호문 사이의 관계를 점점 더 복잡하고 예측 불가능하게 만든다. 라운드 기반 구조의 주요 목적은 확산과 혼돈이라는 암호학적 원리를 효과적으로 구현하여 알고리즘의 전반적인 보안 강도를 높이는 데 있다.

구체적으로, 각 라운드는 주로 치환과 전치 연산을 조합하여 이루어진다. AES와 같은 현대 블록 암호는 치환-전치 네트워크 구조를 채택하여 각 라운드에서 비선형 치환(S-Box)과 선형 전치(행 이동, 열 혼합)를 결합한다. 이러한 반복적인 라운드 처리를 통해 작은 평문의 변화가 최종 암호문 전체에 걸쳐 광범위하게 퍼지는 확산 효과와, 암호문과 키 사이의 관계를 통계적으로 분석하기 어렵게 만드는 혼돈 효과가 달성된다.

암호화 라운드의 횟수는 알고리즘의 보안성과 효율성 사이의 중요한 균형점이다. 라운드 수가 너무 적으면 차분 암호 분석이나 선형 암호 분석과 같은 암호학적 공격에 취약해질 수 있다. 반대로 라운드 수가 지나치게 많으면 암호화 속도가 느려져 실용성이 떨어진다. 따라서 AES-128은 10라운드, AES-192는 12라운드, AES-256은 14라운드와 같이 키 길이에 따라 적절한 라운드 수가 표준화되어 있으며, 이는 충분한 안전 마진을 제공하도록 설계되었다.

라운드 함수는 블록 암호 알고리즘의 핵심 구성 요소로, 암호화 과정에서 평문 데이터를 암호문으로 변환하기 위해 반복적으로 수행되는 일련의 연산을 의미한다. AES를 비롯한 많은 현대 대칭키 암호는 라운드 함수를 여러 번 반복하는 구조를 채택하고 있으며, 각 라운드는 데이터에 혼돈과 확산의 성질을 부여하여 최종적인 암호학적 강도를 높인다.

일반적인 라운드 함수는 치환과 전치 연산의 조합으로 이루어진다. AES의 경우, 하나의 주 라운드는 SubBytes(바이트 치환), ShiftRows(행 이동), MixColumns(열 혼합), AddRoundKey(라운드 키 덧셈)라는 네 가지 고유한 변환으로 구성된다. SubBytes는 비선형 치환을 통해 차분 암호 분석에 대한 저항성을 제공하고, ShiftRows와 MixColumns는 데이터 바이트 간의 확산을 담당하여 암호문의 각 비트가 평문과 키의 많은 비트에 의존하도록 만든다. 마지막으로 AddRoundKey는 각 라운드마다 키 스케줄링 알고리즘으로부터 생성된 고유한 라운드 키를 데이터와 결합한다.

라운드 함수의 설계는 알고리즘의 전체 보안성을 결정하는 중요한 요소이다. 충분한 수의 라운드를 반복함으로써, 암호는 선형 암호 분석 및 차분 암호 분석과 같은 다양한 암호학적 공격으로부터 안전성을 확보한다. AES-128은 10라운드, AES-192는 12라운드, AES-256은 14라운드를 사용하며, 이 라운드 수는 각 키 길이에 대해 필요한 안전 마진을 고려하여 결정되었다.

라운드 키 확장은 AES 암호화 과정에서 사용자가 입력한 하나의 비밀 키로부터 각 암호화 라운드에 사용될 여러 개의 고유한 라운드 키를 생성하는 과정이다. 이 과정은 키 스케줄이라고도 불리며, 암호화의 각 단계에서 서로 다른 키를 사용함으로써 알고리즘의 보안 강도를 높이는 핵심 메커니즘이다.

AES는 키 길이에 따라 AES-128, AES-192, AES-256로 구분되며, 각각 10, 12, 14라운드를 수행한다. 라운드 키 확장 알고리즘은 초기 비밀 키를 확장하여 이 모든 라운드에 필요한 라운드 키를 미리 생성한다. 예를 들어, AES-128은 128비트(16바이트)의 초기 키로부터 총 11개의 128비트 라운드 키(초기 라운드 1개 + 주 라운드 10개)를 생성한다.

확장 과정은 재귀적인 방식으로 이루어지며, 갈루아 필드 상의 연산과 S-Box 치환, 그리고 RCON 상수를 이용한 XOR 연산을 포함한다. 특히, 키 확장 루틴의 일부에서는 바이트의 순환 이동과 비선형 치환을 수행하여 생성되는 라운드 키들 사이에 높은 비선형성과 독립성을 부여한다. 이는 차분 암호 분석이나 선형 암호 분석과 같은 암호학적 공격에 대한 저항력을 강화하는 데 기여한다.

초기 라운드는 AES 암호화 과정의 첫 번째 단계로, 평문 데이터에 대한 최초의 변환을 수행한다. 이 단계는 AddRoundKey 연산 하나로만 구성되며, 이후 반복되는 주 라운드와는 구조가 다르다. 초기 라운드의 주요 목적은 평문 데이터에 첫 번째 라운드 키를 혼합하여 암호화 과정을 시작하는 것이다.

구체적으로, 128비트 평문 데이터는 먼저 4x4 바이트 행렬인 '상태(State)'로 변환된다. 이 상태 행렬의 각 바이트는 키 확장 과정을 통해 생성된 첫 번째 라운드 키의 해당 바이트와 비트 연산 중 하나인 XOR 연산을 수행한다. 이 간단한 연산을 통해 평문 데이터는 초기 스크램블링이 이루어지며, 이후의 복잡한 비선형 변환들(SubBytes, ShiftRows, MixColumns)을 적용할 준비를 마친다.

초기 라운드는 대칭키 암호의 특성상 복호화 과정에서도 동일한 연산으로 시작된다. 복호화 시에는 암호문 상태에 마지막 라운드 키를 XOR하는 방식으로 진행되며, 이는 전체 라운드 키 배열이 암호화와 역순으로 적용되기 때문이다. 따라서 초기 라운드는 알고리즘의 시작과 끝을 정의하는 중요한 경계 역할을 한다.

주 라운드는 AES 암호화 과정의 핵심 단계로, 키 길이에 따라 총 10, 12, 또는 14회 반복 수행된다. 각 주 라운드는 네 가지 고정된 변환 연산, 즉 SubBytes, ShiftRows, MixColumns, AddRoundKey를 순서대로 적용하여 데이터를 혼합하고 암호화 강도를 높인다.

첫 번째 연산인 SubBytes는 비선형 치환 단계이다. 상태(State) 배열의 각 바이트는 미리 계산된 S-Box(치환 상자)를 참조하여 다른 값으로 일대일 대체된다. 이 S-Box는 갈루아 체(GF(2^8)) 상에서의 역원 계산과 아핀 변환을 기반으로 구성되어, 암호문의 통계적 특성을 숨기고 선형 암호 분석 및 차분 암호 분석에 대한 저항성을 제공한다.

다음으로 ShiftRows 연산이 수행된다. 이 단계에서는 상태를 구성하는 4x4 바이트 행렬의 각 행을 고정된 오프셋만큼 순환 이동시킨다. 첫 번째 행은 이동하지 않고, 두 번째 행은 1바이트, 세 번째 행은 2바이트, 네 번째 행은 3바이트 왼쪽으로 순환 이동한다. 이를 통해 한 열에 있는 바이트들이 다음 라운드의 서로 다른 여러 열로 분산되는 효과를 낸다.

세 번째 단계인 MixColumns는 열 단위의 선형 변환이다. 상태의 각 열을 갈루아 체 상에서 정의된 고정된 행렬과 곱하여 새로운 열을 생성한다. 이 연산은 열 내부의 바이트들 간에 높은 확산을 일으켜, 암호문이 평문과 키에 대해 더 복잡한 의존성을 갖도록 만든다. 마지막으로 AddRoundKey 단계에서, 키 확장 알고리즘으로부터 생성된 해당 라운드의 라운드 키가 상태와 비트 단위 XOR 연산된다. 이는 각 라운드에 고유한 키 자료를 혼합하는 역할을 한다. 최종 라운드에서는 MixColumns 단계가 생략되며, 이는 복호화 과정의 대칭성을 유지하기 위함이다.

최종 라운드는 AES 암호화 과정의 마지막 단계로, 주 라운드와는 달리 MixColumns 연산이 생략된다는 특징이 있다. 이는 복호화 과정의 대칭성을 유지하기 위한 설계적 선택이다. 암호화의 마지막 변환으로서, 최종 라운드는 데이터에 최종적인 비선형성과 확산 효과를 더해 암호문을 완성한다.

구체적으로, AES-128은 10번째 라운드, AES-192는 12번째 라운드, AES-256은 14번째 라운드가 최종 라운드에 해당한다. 이 라운드는 SubBytes, ShiftRows, AddRoundKey의 세 가지 연산만을 순서대로 수행한다. MixColumns가 제외됨으로써 알고리즘의 역연산(즉, 복호화 과정)을 보다 간결하고 효율적으로 구성할 수 있게 된다.

따라서 최종 라운드는 전체 암호화 라운드 구조를 완성하는 동시에, 복호화 과정과의 정확한 대응을 보장하는 중요한 역할을 한다. 이 설계는 AES가 높은 안전성과 함께 구현 효율성을 유지할 수 있는 기반이 된다.

AES는 키 길이에 따라 AES-128, AES-192, AES-256의 세 가지 변종으로 구분된다. 각 변종은 사용하는 암호화 키의 길이와 이에 따라 수행되는 암호화 라운드 수가 다르다. 라운드 수는 알고리즘의 반복 강도를 결정하는 핵심 요소이다.

AES-128은 128비트 길이의 키를 사용하며, 총 10라운드를 수행한다. AES-192는 192비트 키를 사용하여 12라운드를, 가장 강력한 AES-256은 256비트 키를 사용하여 14라운드를 수행한다. 각 라운드는 SubBytes, ShiftRows, MixColumns, AddRoundKey의 네 가지 변환 단계로 구성되며, 마지막 라운드에서는 MixColumns 단계가 생략된다. 이렇게 라운드 수를 조정함으로써 더 긴 키를 사용할 때 더 많은 변환을 거쳐 암호학적 안전성을 높인다.

라운드 수의 차이는 대칭키 암호의 보안 강도와 직접적으로 연결된다. 더 많은 라운드를 거칠수록 차분 암호 분석이나 선형 암호 분석과 같은 공격에 대한 저항력이 증가한다. 따라서 AES-256은 극도로 민감한 정보를 보호하는 데 주로 사용되며, 미국 국립표준기술연구소(NIST)가 최고 기밀 등급의 정보에 사용할 수 있도록 승인한 유일한 대칭키 알고리즘이다. 반면, AES-128은 효율성과 안전성의 균형으로 인해 SSL/TLS, Wi-Fi 보안(WPA2, WPA3), 디스크 암호화 등 일상적인 보안 용도에서 가장 널리 채택되어 있다.

DES(Data Encryption Standard)는 1970년대에 개발되어 1977년 미국 국립표준기술연구소(NIST)에 의해 연방 정보 처리 표준(FIPS)으로 공식 채택된 역사적인 대칭키 블록 암호 알고리즘이다. 이는 IBM에서 개발한 루시퍼(Lucifer) 암호를 기반으로 하였으며, 당시 민감한 정부 정보를 포함한 민간 및 공공 분야의 데이터 보호를 위한 표준 암호화 수단으로 널리 사용되었다. DES는 64비트의 평문 블록을 56비트의 비밀 키를 사용하여 64비트의 암호문 블록으로 변환하는 페스텔 네트워크(Feistel Network) 구조를 채택하고 있다.

DES의 암호화 과정은 초기 순열(IP)로 시작하여 16회의 동일한 구조의 라운드를 거친 후 최종 순열(FP)로 끝난다. 각 라운드에서는 56비트 키에서 생성된 48비트의 서브키를 사용하며, 핵심 연산으로는 확장(Expansion), XOR, 치환(Substitution, S-Box), 순열(Permutation, P-Box) 등이 포함된다. 특히 비선형성을 제공하는 S-Box는 DES의 보안성에서 중요한 역할을 했다. 그러나 56비트라는 비교적 짧은 키 길이는 전수 조사 공격(Brute-force Attack)에 대한 취약점으로 지적되었으며, 이는 DES가 결국 대체되는 주요 원인이 되었다.

1990년대 후반에 이르러 컴퓨팅 성능의 비약적 발전으로 DES의 보안성은 심각한 도전에 직면했다. 1997년에는 DESCHALL 프로젝트를 통해 공개적으로, 1998년에는 EFF(Electronic Frontier Foundation)의 DES 크래커 하드웨어를 이용해 56시간 만에 키가 해독되는 등 실질적인 공격이 성공하였다. 이러한 취약성으로 인해 DES는 더 이상 안전한 표준으로 간주되지 않게 되었고, 이를 대체하기 위한 새로운 표준 선정 작업이 진행되어 결국 AES(Advanced Encryption Standard)가 채택되게 되었다. DES의 한계를 극복하기 위한 과도기적 방안으로 제안된 3중 DES(Triple DES)는 DES 알고리즘을 세 번 적용하여 키 길이를 효과적으로 늘렸으나, 속도와 효율성 면에서 AES보다 떨어지는 단점이 있다.

블록 암호는 고정된 크기의 데이터 블록 단위로 암호화를 수행하는 암호 알고리즘이다. 대표적인 예로 AES와 DES가 있으며, 평문을 64비트나 128비트와 같은 정해진 블록 크기로 나누어 각각 암호화한다. 반면 스트림 암호는 데이터를 비트나 바이트 같은 연속적인 스트림 단위로 처리하며, 의사 난수 생성기를 통해 생성된 키 스트림과 평문을 비트 단위 XOR 연산하여 암호문을 만든다. RC4가 스트림 암호의 대표적인 예이다.

두 방식의 근본적인 차이는 데이터 처리 단위와 운영 방식에 있다. 블록 암호는 ECB나 CBC와 같은 특정 운영 모드와 함께 사용되어 긴 메시지를 암호화하며, 블록 간의 관계를 만들어내거나 초기화 벡터를 사용할 수 있다. 스트림 암호는 일반적으로 별도의 운영 모드가 필요 없이 데이터 스트림을 실시간으로 암호화한다. 이로 인해 하드웨어 구현이 간단하고 속도가 빠른 스트림 암호는 무선 통신 같은 환경에서 주로 사용되는 반면, 블록 암호는 데이터 저장 암호화나 인터넷 보안 프로토콜과 같이 구조화된 데이터 보호에 더 널리 활용된다.

보안 측면에서도 차이가 존재한다. 블록 암호는 블록 단위로 암호화하기 때문에 평문의 패턴이 암호문에 그대로 노출될 수 있는 위험(ECB 모드에서 두드러짐)이 있어 적절한 운영 모드 선택이 중요하다. 스트림 암호는 키 스트림이 절대 재사용되지 않아야 하며, 키 스트림의 예측 불가능성이 보안의 핵심이다. 현대 암호학에서 AES와 같은 강력한 블록 암호가 표준으로 자리 잡은 반면, 스트림 암호는 특정 제한된 자원 환경이나 매우 높은 처리 속도가 요구되는 분야에서 그 용도를 찾고 있다.

차분 암호 분석과 선형 암호 분석은 현대 블록 암호의 안전성을 평가하는 데 사용되는 두 가지 핵심적인 암호학적 공격 기법이다. 이들 공격은 암호 알고리즘의 수학적 구조를 분석하여 비밀키를 찾거나 암호문을 복호화하는 것을 목표로 한다.

차분 암호 분석은 선택 평문 공격의 일종으로, 특정 평문 쌍의 차이(차분)와 그에 대응하는 암호문 쌍의 차이 사이의 관계를 분석한다. 공격자는 알고리즘 내부의 비선형 변환(예: S-Box)을 통과하는 입력 차분과 출력 차분의 확률적 분포를 연구하여, 높은 확률을 가지는 차분 특성을 찾아낸다. 이러한 특성들이 여러 라운드에 걸쳐 연결되면 최종적으로 키를 추론할 수 있는 경로가 만들어진다. AES와 같은 현대 암호는 설계 단계에서 차분 암호 분석에 대한 내성을 갖도록 차분 균일성이 낮은 S-Box를 사용하고, 확산 연산(ShiftRows, MixColumns)을 통해 차분을 빠르게 전파시켜 이러한 공격을 방어한다.

선형 암호 분석은 기지 평문 공격에 해당하며, 암호 알고리즘의 입력 비트(평문 및 키 비트)와 출력 비트(암호문 비트) 간의 선형 관계를 찾아내는 통계적 방법이다. 공격자는 확률적으로 성립하는 선형 근사식을 다수 수집하여, 이를 통해 키 비트에 대한 정보를 얻는다. AES는 선형 암호 분석에 대항하기 위해 비선형성이 높은 S-Box를 채택하고, 각 라운드에서 충분한 혼란과 확산을 제공하도록 설계되었다. 이 두 공격 기법에 대한 저항력은 암호 알고리즘의 라운드 수를 결정하는 중요한 요소가 되며, 충분한 라운드 수는 이러한 분석적 공격을 실질적으로 불가능하게 만드는 안전 마진을 제공한다.

안전 마진은 암호 알고리즘의 설계에서 실제 사용되는 라운드 수와 이론적으로 깨는 데 필요한 최소 라운드 수 사이의 차이를 의미한다. 이는 암호 체계에 추가적인 보안 여유를 제공하여 예상치 못한 공격 기법이나 향후 컴퓨팅 성능의 발전에 대비하는 역할을 한다. AES와 같은 현대 블록 암호는 차분 암호 분석 및 선형 암호 분석과 같은 알려진 암호학적 공격에 대해 안전성을 입증받은 최소 라운드 수보다 더 많은 라운드를 적용하여 안전 마진을 확보한다.

예를 들어, AES-128의 경우 알려진 공격으로부터 안전하다고 판단되는 라운드 수는 10라운드 미만일 수 있으나, 표준은 10라운드를 규정한다. 이 추가 라운드는 새로운 형태의 공격이 발견되거나 기존 공격 기법이 개선될 경우를 대비한 안전 장치이다. 마찬가지로 AES-192는 12라운드, AES-256은 14라운드를 사용하여 더 큰 키 크기에 비례하여 더 넓은 안전 마진을 제공한다.

충분한 안전 마진을 확보하는 것은 암호 알고리즘의 장기적인 신뢰성과 내구성을 보장하는 핵심 요소이다. 이는 알고리즘이 표준으로 채택된 후 수십 년 동안 사용될 것을 고려하여, 미래의 위협에 대비하기 위한 필수적인 설계 원칙이다. 따라서 대부분의 표준화된 암호는 이론적 안전성의 최소 기준을 넘어서는 상당한 안전 마진을 포함하고 있다.

AES의 하드웨어 구현은 높은 처리량과 낮은 지연 시간이 요구되는 시스템에서 매우 중요하다. 암호화 및 복호화 작업을 전용 회로에서 수행함으로써 소프트웨어 구현에 비해 훨씬 빠른 속도와 높은 효율성을 달성할 수 있다. 하드웨어 구현은 주로 ASIC과 FPGA 플랫폼을 통해 이루어지며, 각각 대량 생산 시 최적화된 성능과 프로토타입 개발 시 유연성을 제공한다.

하드웨어 구현의 핵심 최적화 기법 중 하나는 파이프라이닝이다. 이 기법은 암호화 라운드를 여러 단계로 나누어 동시에 처리함으로써 한 클록 사이클에 하나의 데이터 블록을 처리하는 처리량을 극대화한다. 또한, 루프 언롤링 기법을 적용하여 여러 라운드의 연산을 병렬로 처리하면 지연 시간을 줄일 수 있다. 이러한 최적화는 고속 네트워크 장비나 실시간 미디어 스트리밍 보안과 같은 응용 분야에서 필수적이다.

최근 CPU 제조사들은 AES-NI와 같은 전용 명령어 세트를 도입하여 하드웨어 가속을 제공하고 있다. 이는 운영 체제 수준의 암호화나 데이터베이스 보안과 같이 소프트웨어에서 빈번하게 암호화를 호출해야 하는 환경에서 성능 저하를 크게 줄여준다. 이러한 하드웨어 지원은 서버와 개인용 컴퓨터에서 전체 디스크 암호화 성능을 획기적으로 향상시켰다.

AES의 소프트웨어 구현은 성능, 보안, 그리고 다양한 플랫폼 간의 호환성을 고려하여 이루어진다. 일반적으로 C나 C++와 같은 저수준 언어를 사용하여 효율적인 라이브러리를 개발하며, 자바, 파이썬, C# 등의 고수준 언어에서는 이러한 네이티브 라이브러리를 호출하거나 순수하게 구현된 라이브러리를 활용한다. 구현의 핵심은 각 암호화 라운드를 구성하는 SubBytes, ShiftRows, MixColumns, AddRoundKey 연산들을 최적화하는 것이다.

성능 최적화를 위해 사전 계산된 S-Box (치환 상자) 테이블을 사용하는 것이 일반적이다. 특히 MixColumns 연산은 4바이트 단위로 결합된 T-테이블 기법을 통해 구현되어, 여러 단계의 연산을 한 번의 테이블 조회와 XOR 연산으로 대체할 수 있다. 또한 현대 CPU는 AES-NI (AES New Instructions)라고 불리는 전용 명령어 세트를 제공하여, 소프트웨어 구현보다 훨씬 빠른 하드웨어 가속 암호화를 가능하게 한다. 지원되는 환경에서는 이 명령어 세트를 활용하는 것이 최선의 선택이다.

보안 측면에서 소프트웨어 구현은 사이드 채널 공격에 취약할 수 있다. 타이밍 공격을 방지하기 위해 연산 시간이 데이터에 의존하지 않도록 상수 시간 알고리즘으로 구현해야 한다. 또한 캐시 타이밍 공격을 막기 위해 테이블 조회 대신 연산을 통한 S-Box 계산을 고려할 수 있다. AES는 전자문서 보안, 무선 네트워크 보안, VPN 등 광범위한 정보 보안 분야에서 표준으로 사용되므로, 이러한 구현상의 세부 사항이 전체 시스템의 안전성을 좌우한다.